BUNDESREPUBLIK DEUTSCHLAND 



05 It. 2m 





Prioritatsbescheinigung iiber die Einreichung 
einer Patentanmeidung 




Aktenzeichen: 



Anmeldetag: 



10 2004 016 329.4 
02. April 2004 



Anmelder/lnhaber: 



Siemens Aktiengesellschaft, 80333 MQnchen/DE 



Bezeichnung: 



System und Verfahren zur Durchfuhrung und Visuali- 
sierung von Simulationen in einer enveiterten Realitat 



IPC: 



G 09 G, G 06 T 




Die angehefteten Stucke sind eine rlchtige und genaue Wiedergabe der ur- 
s0runglichen Unterlagen dieser Patentanmeidung. 



Munchen, den 27. Oktober 2004 
Deutsches Patent- und Mar 
Der Prasidei 

Im Auftrag ' 



A 91 61 



PRIORITY 
DOCUMENT 

SUBMITTED OR TRANSMTITED IN 
COMPLIANCE WITH RUIi 17.1(a) OR (b) 




SchSfer 



BEST AVAILABLE COPY 



Beschreibung 



System und Verfahren zur Durchfiihrung und Visualisierung von 
Simulationen in einer erweiterten Realitat 

Die Erfindung betrifft ein System und ein Verfahren zur Dar- 
stellung von Informationen, insbesondere Augmented-Reality 
Informationen, ftir mindestens einen Anwender. 

Eine derartiges System bzw. Verfahren kommt beispielsweise 
bei der Planung von Arbeitsprozessen und sonstigen Prozessen 
in einer industriellen Umgebung zura Einsatz. 

Augmented-Reality, kurz AR, ist eine neue Art der Mensch- 
Umgebungs-Interaktion mit groBem Potential zur Untersttitzung 
von industriellen Arbeitsprozessen und sonstigen Prozessen 
vor und wahrend der Prozessablauf e . Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert, so dass Produkt- und Pro- 
zessinformation intuitiv erfasst und genutzt werden konnen. 
Neben der sehr einfachen Interaktion - Mensch und Umgebung - 
erschliefit der Einsatz tragbarer Computer AR-Anwendungsf elder 
mit hohen MobilitStsanforderungen wie z. B. in Produktions- 
hallen, raumlich verteilten Anlagen oder groBvolumigen For- 
dereinrichtungen. Augmented-Reality wird bereits fUr Produk- 
tions- und Serviceanwendungen entwickelt. 

Der Erfindung liegt die Aufgabe zu Grunde, ein System und ein 
Verfahren anzugeben, das in einem Augmented-Reality System 
die Visualisierung von Simulati-onsergebnissen im Kontext zu 
realen Anordnungen ermdglicht. Mit Hilfe dieses Systems sol- 
len geplante Prozesse oder auch: fiktive Situationen wie An- 
sammlung von Besuchern, FehlerfSlle an bestehenden oder ge- 
planten Anlagen etc. direkt in der realen Umgebung visuali- 
siert und so far den oder die Anwender erlebbar gemacht wer- 
den. 
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Diese Aufgabe wird durch ein System zur Darstellung von In- 
formationen, insbesondere Augmented-Reality Inf ormationen, 
ftir mindestens einen Anwender mit 

• mindestens einer Erf assungseinheit zur Erfassung einer Um- 
gebung und zur Generierung entsprechender Umgebungsinf or- 
mationen, die eine Position und/oder eine Ausrichtung des 
Systems in Bezug auf die Umgebung kennzeichnen, 

• mindestens einem Simulationssystem zur Generierung von Si- 
mulationsdaten, 

• mindestens einer Verarbeitungseinheit zur Verknupfung der 
Umgebungsinformationen und auf Basis der Simulationsdaten 
kontinuierlich modif izierter und in einem ersten Speicher- 
medium abgelegter Bildinformationen 

gel6st . 



Diese Aufgabe wird weiter durch ein Verfahren zur Darstellung 
von Informationen, insbesondere Augmented-Reality Informatio- 
nen, fur mindestens einen Anwender bei dem 

• mit Hilfe mindestens einer Erf assungseinheit eine Umgebung 
erfasst und entsprechende Umgebungsinformationen, die eine 
Position und/oder eine Ausrichtung des Systems in Bezug 
auf die Umgebung kennzeichnen, generiert werden, 

• mit Hilfe mindestens eines Simulationssystems Simulations- 
daten generiert werden, 

• mit Hilfe mindestens einer Verarbeitungseinheit die Umge- 
bungsinformationen und auf Basis der Simulationsdaten kon- 
tinuierlich modifizierte und in einem ersten Speichermedi- 
um abgelegte Bildinformationen verkntipft werden 

gelSst. 

Durch die Verkntipfung der mit Hilfe des Simulationssystems 
generiert en Daten mit den auf die reale Umgebung bezogenen 
Umgebungsinformationen wird eine Visualisierung der Simulati- 
onsergebnisse im Kontext mit der realen Umgebung ermSglicht. 
Simulationsergebnisse werden mit Hilfe von Augmented-Reality 
in die Realitat ubertragen und dort in einer gemischt virtu- 
ellen realen Welt visualisiert . Dabei werden die dynamischen 
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Ergebnisse der Simulation entsprechend ihrer Dynamik in die 
reale Welt transportiert und somit fiir den Betrachter erleb- 
bar gemacht. Simulationen, die bis dato nur in rein virtuel- 
len Umgebungen durchgefilhrt werden, konnen mit dem erfin- 
dungsgemafien System bzw. der erf indungsgemaJien Vorrichtung in 
der Realitat dargestellt werden, ohne dass eine aufwendige 
Modellierung der realen Umgebung notwendig ist. Verfalschun- 
gen der realen Umgebung und daraus resultierende fehlerhafte 
RUckschlUsse, die bei einer Nachbildung der Realitat nie 
vollstandig ausgeschlossen werden kQnnen, werden durch die 
erfindungsgemSBe Kombination von Simulationstechniken und 
Augmented-Reality Technologie vermieden. 

Neben der Augmentierung der Wirklichkeit durch reale Gegen- 
stande (z.B. Transportgiiter) kann die Simulation auch als 
Prognosewerkzeug eingesetzt werden. Dabei kann z. B. durch 
die Simulation eine Prognose erstellt werden, dass in naher 
Zukunft an einer Maschine oder einer Fordereinrichtung ein 
Problem auftritt. Dann kann z. B. als Warnung die Umgebung 
der Maschine gelb oder rot eingefarbt werden (oder der virtu- 
ell explodierende Kessel gezeigt werden) . 

Das erfindungsgemafie System kann beispielsweise fiir folgende 
Aufgaben vorteilhaft eingesetzt werden: 

• Darstellung des Transportauf kommens von GUtern in Ferti- 
gungseinrichtungen und FSrderanlagen in AbhSngigkeit von 
unterschiedlichen Systemzustanden (Ausfall, Verfugbarkeit 
bei redundanten Linien, Durchsatzeinf Itisse wie Staus) 

• Darstellung von Besuchern bei Veranstaltungen in der rea- 
len Veranstaltungsumgebung (z. B. Personenauf kommen an 
Messestanden, an Fluchtwegen, an Produktionslinien, 

etc. . . ) 

• Darstellung von Temperaturveriaufen in TunnelSfen in Ab- 
hangigkeit von BestUckung (Anzahl der Paletten mit Zie- 
geln) und Material 

• Darstellung des Bearbeitungszustands eines WerkstUcks in 
einer Werkzeugmaschine in der Zukunft oder Vergangenheit 
(Nutzen? Wie lange dauert die Bearbeitung noch?) 



3 

BESt AVAIIABLE COPY 



Bei einer vorteilhaf ten Ausf tihrungsform der Erfindung ist die 
Verarbeitungseinheit derart ausgefiihrt, dass sie zur Berech- 
nung von Verdeckungen virtueller Objekte durch eine im Erfas- 
sungsbereich des Systems existierende reale Anordnung auf Ba- 
sis der in dem ersten Speichermedium abgelegten Bildinforma- 
tionen sowie zur Generierung einer Datenmenge zur Beschrei- 
bung der virtuellen Objekte dient, wobei die von der realen 
Anordnung verdeckten FlSchen der virtuellen Objekte ausge- 
blendet sind. Auf diese Weise wird eine Datenmenge zur Wie- 
dergabe eines 3-dimensionalen Modells generiert, dessen Dar- 
stellung dem Anwender eine positionsgenaue Visualisierung 
virtueller und realer Objekte in alien drei Raumdimensionen 
ermOglicht. Durch die Ausblendung der von realen Objekten 
verdeckten Teile der virtuellen Objekte wird ein hinter einem 
realen Objekt positioniertes virtuelles Objekt auch als sei- 
ches von dem Anwender wahrgenommen . 

Vorteilhafter Weise weist das System mindestens eine Wieder- 
gabeeinheit zur Darstellung der von der Verarbeitungseinheit 
generierten Datenmenge auf. Bei der Wiedergabe der Augmented- 
Reality Inf ormationen kSnnen zwei unterschiedliche Verfahren 
ziam Einsatz kommen. 



Die Wiedergabeeinheit kann als Head-Mounted-Display ausgebil- 
det sein, wobei die von den durch die Verarbeitungseinheit 
generierten Bildinf ormationen beschriebenen Objekte direkt in 
das Sichtfeld des Anwenders eingeblendet werden, und der An- 
wender den von den durch die Bildinf ormationen beschriebenen 
Objekten nicht verdeckten Teil der aktuellen Realitat weiter- 
hin direkt wahrnimmt. Bei dieser Art der Darstellung von Aug- 
mented-Reality Informationen handelt es sich um das sogenann- 
te Optical-See-Through Verfahren. 

Alternativ ist die Wiedergabeeinheit derart ausgebildet, dass 
die von den durch die Verarbeitungseinheit generierten Bild- 
inf ormationen beschriebenen Objekte und der von den durch die 
Bildinf ormationen beschriebenen Objekte nicht verdeckte Teil 
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der aktuellen Realitat dargestellt werden, wobei die Vorrich- 
tung hierzu insbesondere mindestens eine Bilderf assungsein- 
heit, die beispielsweise als Videokamera ausgefahrt ist, zur 
Erfassung der aktuelle RealitMt aufweist. Diese Ausfuhrungs- 
form ermOglicht die Darstellung der Augmented-Reality Infor- 
mationen ftir mehrer Anwender. Bei dieser Art der Darstellung 
von Augmented-Reality Informationen handelt es sich urn das 
sogenannte Video-See-Through Verfahren. Hierbei werden die 
von den Bildinf ormationen beschriebenen und nicht durch reale 
Objekte verdeckten Teile der virtuellen Objekte in das von 
der Videokamera erfasste Bild eingeblendet und auf einem o- 
der, z. B. unter Verwendung eines Videosplitters, mehreren 
Wiedergabeeinheiten dargestellt. Bei den Wiedergabeeinheiten 
kann es sich um Head-Mounted-Displays und/oder gewohnliche 
Monitore handeln, die insbesondere auch an von der erfassten 
aktuellen Realitat entfernten Orten positioniert sein kbnnen. 

In einer vorteilhaf ten Ausf uhrungsf orm weist das System min- 
destens eine Anwendungssteuerung zur Ansteuerung des Simula- 
tionssystems und/oder mindestens eines realen Prozesses auf. 
Die Anwendungssteuerung erlaubt die Aktivierung und die Steu- 
erung realer und virtueller Prozesse. Dariiber hinaus stellt 
sie die verftigbaren Kommandos und den aktuellen Zustand des 
Systems, zum Beispiel unter Verwendung einer Videokarte, mit 
Hilfe der Wiedergabeeinheit dar. Zur Steuerung eines realen 
Prozesses ist zweckmaliigerweise zusatzlich eine Prozesssteue- 
rung vorgesehen, die das notwendige Ablaufsystem und die not- 
wendigen Steuerprogramme, um eine Anlage oder Anlagenkompo- 
nenten nach einem vorgegebenen Ablauf schema zu steuern (z.B. 
eine SPS mit ihren dazugeh5rigen Daten- und Funktionsbaustei- 
nen) enthait. 



Um dem Anwender die MSglichkeit zu geben, reale Prozesse und 
Simulationen aktivieren und steuern zu kOnnen, umfasst das 
System mindestens eine Anwenderschnittstelle, die dem Anwen- 
der eine Ansteuerung des Simulationssystems und/oder mindes- 
tens eines realen Prozesses erlaubt. Die Anwenderschnittstel- 
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le kann unterschiedliche EingabegerSte umfassen wie z. B. 
Maus, Tastatur, Mikrophone, etc... Die von den Eingabegeraten 
gelieferten Signale werden mittels entsprechender Geratetrei- 
ber in Befehle fur die Anwendungssteuerung umgesetzt. 

ZweckmaiSigerweise weist das System ein zweites Speichermedium 
auf, in dem aktuelle Zustandswerte des realen Prozesses, ins- 
besondere Sensorwerte und/oder zu setzende Aktorwerte^ abge- 
legt sind. 

Bei einer vorteilhaften Ausftihrungsf orm ist das Simulations- 
system derart ausgeftihrt, dass der Ablauf einer Simulation 
durch die im zweiten Speichermedium abgelegten Zustandswerte 
kontinuierlich beeinflusst werden kann und/oder die im zwei- 
ten Speichermedium abgelegten Zustandswerte durch das Simula- 
tionssystem modifiziert werden kOnnen. Durch die Moglichkeit 
des Zugriffs auf die im zweiten Speichermediiam abgelegten Zu- 
standswerte^ kann das Simulationssystem auf aktuelle ZustSnde 
eines realen Prozesses reagieren und eine laufende Simulation 
entsprechend beeinf lussen. Weiterhin kann das Simulationssys- 
tem Zustandswerte modifizieren und so einen laufenden realen 
Prozess beeinf lussen . 

Zur Beeinflussung eines realen Prozessen und/oder zur Erfas- 
sung von Zustandsparametern eines realen Prozesses ist in ei- 
ner vorteilhaften Ausf uhrungsf orm mindestens eine Prozessan- 
bindung vorgesehen, welche die Veranderung des Zustandes ei- 
nes realen Prozesses, insbesondere in Abhangigkeit der im 
zweiten Speichermedium abgelegten Zustandswerte, und die Er- 
fassung des aktuellen Zustandes eines realen Prozesses er- 
laubt . 

In einer weiteren vorteilhaften Ausfuh rungs form des Systems 
ist ein drittes Speichermedium vorgesehen, in dem Daten abge- 
legt werden, die. eine Rekonstruktion eines mittels des Simu- 
lationssystems simulierten Vorganges erlauben. Das dritte 
Speichermedium enthait kontinuierliche und zyklische Daten, 
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die uber eine definierte Zeitspanne auf gezeichnet worden 
sind. Sie sind hinreichend genau, uin von dem Simulationssys- 
tem aufgezeichnete Vorgange in Zeitlupe oder Zeitraffer ab- 
spielen zu konnen, sowohl vorwarts als auch ruckwarts entlang 
der Zeitachse gerichtet. 

Im Folgenden wird die Erfindung anhand der in den Figuren 
dargestellten Ausftihrungsbeispiele nSher beschrieben und er- 
ISutert, Es zeigen: 

FIG 1 eine schematische Darstellung eines System zur Darstel- 
lung von Inf ormationen, insbesondere Augment ed-Reality 
Inf ormationen^ ftir mindestens einen Anwender und 

FIG 2 eine detaillierte Darstellung einer Ausftlhrungsf orm des 
in FIG 1 gezeigten Systems 

FIG 1 zeigt eine schematische Darstellung eines Systems 1 zur 
Darstellung von Inf ormationen, insbesondere Augmented-Reality 
Informationen, fur mindestens einen Anwender 2. Im Blickfeld 
des Anwenders 2 befindet sich eine reale Anordnung 11, bei 
der es sich beispielsweise urn einen Hubtisch handeln kann. 
Der Anwender 2 tragt auf dem Kopf eine Erf assungsvorrichtung 
3a, zum Beispiel einen Sensor, die Bestandteil einer Erfas- 
sungseinheit 3 ist. Mit Hilfe der Erf assungsvorrichtung 3a 
wird die Umgebung des Anwenders 2 erfasst und mit einer Ver- 
arbeitungseinheit 3b entsprechende Umgebungsinf ormationen 4 
generiert, die die Position und den Blickwinkel des Anwenders 
2 in Bezug auf die reale Anordnung 11 kennzeichnen. 

Das System weist ein erstes Speickermedium 5 auf, in dem 
Bildinf ormationen 6 bezQglich realer und virtueller Objekte 
abgelegt sind. Die Bildinf ormationen 6 beschreiben die realen 
und virtuellen Objekte in Form von dreidimensionalen Model- 
len. 

Das System 1 umfasst weiterhin ein Simulationssystem 7, mit 
dem Simulationsdaten 12 generiert werden. Die in dem Spei- 
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chermedium 5 abgelegten Bildinf ormationen 6 werden hierbei 
kontinuierlich durch die von dem Simulationssystem 7 gene- 
rierten Simulationsdaten 12 aktualisiert . 

Eine Verarbeitungseinheit 8 verkniipft nun die Bildinf ormatio- 
nen 6 und die Umgebungsinformation 4 zu einer neuen Datenmen- 
ge 9, die mit Hilfe einer Wiedergabeeinheit 10 dargestellt 
werden kann. Durch die VerknUpfung der Bildinf ormationen 6 
mit den Umgebungsinf ormationen 4 durch die Verarbeitungsvor- 
richtung 8 ist nun eine positionsgenaue Einblendung der neu 
generierten Bildinf ormationen 9 in das Blickfeld des Anwen- 
ders 2 mbglich. Hierbei werden Verdeckungen durch den Hub- 
tisch 11 von den durch die Bildinformation 6 beschriebenen 
geometrischen Anordnungen dem Anwender sichtbar gemacht. Die 
Visualisierung der in dem Spei chermedium 5 abgelegten Daten 6 
zur Beschreibung virtueller Objekte erfolgt so im Kontext zu 
der realen Umgebung des Anwender s 2, wobei der Anwender 2 ei- 
ne korrekte Darstellung sowohl der virtuellen als auch der 
realen Objekte in seiner Umgebung in alien drei Raumdimensio- 
nen erhalt. Bei der Darstellung der erweiterten Realitat ist 
durch das Simulationssystem 7 darilber hinaus eine Dynamisie- 
rung der in dem ersten Speichermedium 5 abgelegten realen und 
virtuellen Objekte moglich. 

FIG 2 zeigt eine detaillierte Darstellung einer Ausftihrungs- 
form des in Figur 1 gezeigten Systems. Im Blickfeld eines An- 
wenders 2 befindet sich eine reale Anordnung 11, bei der es 
sich wiederum um einen Hubtisch handeln kann. Mit Hilfe einer 
Erfassungseinheit 3 bestehend aus einer insbesondere als Sen- 
sor ausgefahrten Erfassungsvorrichtung 3a und einer Verarbei- 
tungseinheit 3b werden die Position und der Blickwinkel des 
Anwenders 2 in Bezug auf die reale Anordnung 11 erfasst und 
in Form von Umgebungsinf ormationen 4, die in Gestalt einer 
Matrix vorliegen, an die Verarbeitungseinheit 8 gegeben. Bei 
der Verarbeitungseinheit 3b kann es sich insbesondere um ein 
Trackingsystem handeln. 



gtSl AVAILABLE COPV 



In einem ersten Speichermedium 5 befinden sich Bildinformati- 
onen 6 zur Beschreibung des dreidimensionalen Modells einer 
Oder mehrerer virtueller oder realer Anordnungen. In dem ge- 
zeigten Beispiel handelt es sich bei den virtuellen oder rea- 
5 len Anordnungen um einen virtuellen Robot er 18a und virtuelle 
Pakete 18b. In einem zu visualisierenden Zukunf tsszenario 
kennten z. B. die virtuellen Pakete 18b von dem realen Hub- 
tisch 11 transportiert und/oder gehoben werden und von dem 
virtuellen Roboter 18a nach einem oder mehreren Qualitatskri- 
10 terien aussortiert werden. 

Ein Simulationssystem 7 generiert eine Menge von Simulations- 
daten 12, anhand derer die in dem Speichermedium 5 abgelegten 
Bildinformationen 6 kontinuierlich aktualisiert werden. Hit 
Hilfe des Simulationssystems 7 ist so eine Dynamisierung der 
virtuellen Objekte 18a und 18b mOglich. 

In einem vierten Speichermedium 19 ist ein Simulationsmodell 
abgelegt, welches alle notwendigen Daten enthait, um sowohl 
von realen als auch von virtuellen Komponenten das physikali- 
sche Verhalten und das Steuerverhalten hinreichend genau si- 
mulieren zu kSnnen. Das Simulationsmodell beschreibt auch die 
Abhangigkeit zwischen den Objekten (z.B. Paket, das auf Hub- 
tisch liegt und entsprechend der aktuellen Fordergeschwindig- 
keit zu transportieren ist) . 

Die Verarbeitungseinheit 8 verkntipft die Umgebungsinformatio- 
nen 4 und die von dem Simulationssystem kontinuierlich aktua- 
lisierten Bildinformationen 6 der virtuellen Anordnungen 18a 
und 18b zu einer neuen Datenmenge 9. Um eine positionsgenaue 
Einblendung der virtuellen Bildinformationen 6 in die reale 
Umgebung far den Anwender 2 zu ermSglichen, sind in einem 
fiinften Speichermedium 20 Kalibrierinf ormationen in Form von 
Matrizen abgelegt, die geometrische Abweichungen zwischen dem 
Sensor des Erf assungssystems 3a, dem Auge des Anwenders 2 und 
der Wiedergabeeinheit 10 beschreiben. Von der Verarbeitungs- 
einheit 8 werden die Telle der virtuellen geometrischen An- 



ordnungen 18a und 18b ausgeblendet, die durch den Hubtisch 11 
verdeckt warden. Somit erhait der Anwender 2 bei einer Dar- 
stellung der Datenmenge 9 einen korrekten dreidimensionalen 
Eindruck der erweiterten Realitat bestehend aus dem Hubtisch 
11, dem virtuellen Roboter 18a und den virtuellen Paketen 
18b. 



Die von der Verarbeitungseinheit 8 generierten Datenmenge 9 
wird mit Hilfe einer Videokarte 21 in ein von der Wiedergabe- 
0 einheit 10 darstellbares Signal umgewandelt. 

Das System 1 umfasst weiterhin eine Anwendungssteuerung 14, 
mit deren Hilfe auf das Simulations system 7 zugegriffen wer- 
den kann und ein realer Prozess, in diesem Fall z.B. ein ak- 

5 tiver Hubtisch 11, gesteuert werden kann. Hierzu steht dem 
Anwender 2 eine Anwenderschnittstelle 15 zur Verfugung, die 
z.B. eine Maus, eine Tastatur oder auch ein Mikrofon umfassen 
kann. Die von dem Anwender 2 tiber die Anwenderschnittstelle 
15 eingegebenen Steuerbef ehle werden mit Hilfe eines oder 

> mehrerer GerStetreiber 22 in ein Signal far die Anwendungs- 
steuerung 14 konvertiert. Die fiir den Anwender 2 verftigbaren 
Kommandos kSnnen von der Anwendungssteuerung 14 mit Hilfe der 
Videokarte 21 auf dem Wiedergabegerat 10 dargestellt werden. 

Eine der Anwendungssteuerung 14 untergliederte Prozesssteue- 
rung 23 enthait das notwendige Ablaufsystem und die notwendi- 
gen Steuerprogramme, um den Hubtisch 11 nach einem vorgegebe- 
nen Ablauf schema zu steuern. Hierbei kann es sich beispiels- 
weise um eine speicherprogrammierbare Steuerung (SPS) mit ih- 
ren dazugehSrigen Daten und Funktionsbausteinen handeln. 

In einem zweiten Speichermedium 13 sind die aktuellen Zu- 
standswerte des Hubtisches 11 abgelegt, sowie aktuell aber 
eine Prozessschnittstelle 24 zu setzende Aktorwerte. Die in 
dem zweiten Speichermedium 13 abgelegten Sensor- und Aktor- 
werte kSnnen von dem Simulationssystem 7 sowohl gelesen wer- 
den, um entsprechende Modif ikationen der laufenden Simulation 
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durchzuftihren, als auch modifiziert werden, urn eine Anderung 
des laufenden Prozesses iiber die Prozessschnittstelle 24 zu 
bewirken. Mit Hilfe einer Prozessanbindung 17 kQnnen die ak- 
tuellen Sensorwerte des Hubtisches 11 eingelesen werden sowie 
aktuelle Aktorwerte des Hubtisches 11 gesetzt werden. Die 
Sensorwerte werden in dem sich in dem zweiten Speichermedium 
13 befindlichen Prozessabbild abgelegt und die Aktorwerte 
werden aus dem sich in dem zweiten Speichermedium 13 befind- 
lichen Prozessabbild gelesen. 

Das beschriebene System 1 ermSglicht somit einen Zugriff des 
Anwenders 2 xiber die Anwenderschnittstelle 15 sowohl auf den 
Ablauf der Simulation als auch auf den real ablaufenden Pro- 
zess auf dem Hubtisch 11. Weiterhin kSnnen sich der reale 
Prozess und die Simulation gegenseitig beeinflussen. 

Das System 1 weist ein drittes Speichermedium 16 auf, in dem 
wShrend der Simulation generierte Daten kontinuierlich abge- 
legt werden. Diese kontinuierlich bzw. zyklisch uber eine de- 
finierte Zeitspanne auf gezeichneten Daten sind hinreichend 
genau, urn von dem Simulationssystem 7 auf gezeichnete Vorgange 
in Zeitlupe oder Zeitraffer abspielen zu konnen. Dies ist so- 
wohl in Vorwarts- als auch in RUckwartsrichtung entlang der 
Zeitachse mSglich. 

Eine mdgliche Vorgehensweise bei einer Verwendung des Systems 
1 ist wie folgt: 

1. Anwender (2) mit AR-Gerat erfasst die reale Anordnung 11. 

2 . Anwender 1 stOBt Simulationsprozess im Kontext der realen 
Anordnung 11 an. 

3. Simulationsprozess synchronisiert sich mit der realen An- 
ordnung 11. 

4 . Mit Hilfe von Trackingverf ahren werden die visuellen Simu- 
lationsergebnisse im Sichtfeld des Anwenders 2 mit der re- 
alen Anordnung 11 in Deckung gebracht. 
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5. Anwender 2 beeinflusst im Zeitraffer / Zeitlupe den Simu- 

lationsprozess 

6. Anwender 2 sieht in der Zukunft liegende Fertigung-/ Umge- 
bungsvorgange in der dafOr vorgesehenen realen Umgebung, 
bzw. im Kontext mit der realen Anordnung 11 

Das hier beschriebene System 1 kennt zwei Hauptmodi. Im ers- 
ten Modus, Prozess aktiv, werden die realen Komponenten di- 
rekt Uber die Prozesssteuerung 23 und die Prozessanbindung 17 
gesteuert. Im zweiten Modus, Prozess passiv, werden die rea- 
len Komponenten nicht tiber die Prozessanbindung 17 angespro- 
chen. Ober die Anwendungssteuerung 14 werden die Modi akti- 
viert. Das Verhalten des Systems 1 bzw. der Systemkomponenten 
in den beiden Modi ist wie folgt. 

In dem Modus Prozess aktiv werden die realen Komponenten tiber 
die Prozessanbindung 17 angesprochen. Es erfolgt eine Dynami- 
sierung der Realitat und eine dazu passende Dynamisierung und 
Einbindung der virtuellen Komponenten 18a und 18b. Die Sys- 
temkomponenten sind aber so eingestellt, dass die berechneten 
bzw. erfassten Positionen der realen Komponenten, in diesem 
Fall des Hubtisches 11, sich im dreidimensionalen Modell wi- 
derspiegeln, aber nicht als Komponenten von dem Verarbei- 
tungssystem 8 eingeblendet werden, sondern lediglich zur Aus- 
blendung der verdeckten Telle der virtuellen Komponenten 18a 
und 18b Verwendung finden. 

In dem Modus Prozess passiv werden die realen Komponenten 
(der Hubtisch 11) tiber die Prozessanbindung 17 nicht ange- 
sprochen und befinden sich in einem definierten Ruhezustand. 
Es erfolgt keine reale Dynamisierung der realen Anordnung 
bzw. des Hubtisches 11, sondern eine simulierte Dynamisierung 
der Realitat. Die dazu passende Dynamisierung und Einblendung 
der virtuellen Komponenten 18a und 18b erfolgt parallel. Die 
Systemkomponenten sind dabei so eingestellt, dass die berech- 
neten bzw. erfassten Positionen des Hubtisches 11 sich im 
dreidimensionalen Modell widerspiegeln und vom Verarbeitungs- 
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system 8 zusairanen mit dem dreidimensionalen Modell der virtu- 
ellen Komponenten 18a und 18b eingeblendet werden. Gibt es 
eine Obereinstimmung zwischen der berechneten Position des 
Hubtisches 11 und der wirklichen Position des Hubtisches 11, 
so wird das dreidimensionale Modell des Hubtisches 11 nicht 
eingeblendet, sondern nur fiir die Berechnung der Ausblendung 
verwendet. Dieser Modus wird insbesondere auch fur die Zeit- 
lupen- und Zeitraf f erf unktionalitat des Systems 1 eingesetzt. 

Zusammenf assend betrifft die Erfindung ein System und ein 
Verfahren innerhalb eines Augmented-Reality (AR) Systems zur 
Visualisierung von Simulationsergebnissen in einer gemischt 
virtuellen realen Umgebung, Das System bzw. Verfahren erm5g- 
licht es einem oder mehreren Anwender(n), Simulationsprozesse 
im Kontext einer realen Umgebung, insbesondere im Bereich der 
industriellen Automatisierungstechnik, durchzuf tihren und de- 
ren statische und dynamische Ergebnisse im Kontext der realen 
Umgebung zu visualisieren. In der realen Umgebung ablaufende 
Prozesse werden erfasst und mit der Simulation synchroni- 
siert. Mit Hilfe einer Steuerungseinheit wird eine wechsel- 
seitige Beeinf lussung realer Prozesse mit der Simulation er- 
moglicht. Weiterhin kann der Anwender Uber eine Anwender- 
schnittstelle den Ablauf der Simulation steuern. 
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PatentansprUche 

1. System (1) zur Darstellung von Inf ormationen, insbesonde- 
re Augmented-Reality Inf ormationen, fur mindestens einen 
Anwender { 2 ) mit 

• mindestens einer Erf assungseinheit (3) zur Erfassung einer 
Umgebung und zur Generierung entsprechender Umgebungsin- 
formationen (4), die eine Position und/oder eine Ausrich- 
tung des Systems (1) in Bezug auf die Umgebung kennzeich- 
nen, 

• mindestens einem Simulationssystem (7) zur Generierung von 
Simulationsdaten (12) und 

• mindestens einer Verarbeitungseinheit (8 ) zur Verknupfung 
der Umgebungsinformationen (4) und auf Basis der Simulati- 
onsdaten (12) kontinuierlich modif izierter und in einem 
ersten Speichermedium (5) abgelegter Bildinf ormationen 

(6) . 

2. System nach Anspruch 1, 

dadurch gekennzeichnet ^ dass die Verarbeitungseinheit (8) 
derart ausgeftihrt ist^ dass sie zur Berechnung von Verdeckun- 
gen virtueller Objekte (18a, 18b) durch eine im Erf assungsbe- 
reich des Systems (1) existierende reale Anordnung (11) auf 
Basis der in dem ersten Speichermedium (5) abgelegten Bildin- 
f ormationen (6) sowie zur Generierung einer Datenmenge (9) 
zur Beschreibung der virtuellen Objekte (18a, 18b) dient, wo- 
bei die von der realen Anordnung (11) verdeckten Flachen der 
virtuellen Objekte (18a, 18b) ausgeblendet sind. 

3. System nach einem der vorhergehenden Ansprtiche, 
dadurch gekennzeichnet, dass das System (1) mindestens eine 
Wiedergabeeinheit (10) zur Darstellung der von der Verarbei- 
tungseinheit (8) generierten Datenmenge (9) aufweist. 
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4. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass das System mindestens eine An- 
wendungssteuerung (14) zur Ansteuerung des Simulationssystems 
(7) und/oder mindestens eines realen Prozesses aufweist. 

5. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , dass das System (1) mindestens eine 
Anwenderschnittstelle (15) aufweist, die dem Anwender eine 
Ansteuerung des Simulationssystems (7) und/oder mindestens 
eines realen Prozesses erlaubt. 

6. System nach einem der vorhergehenden AnsprUche, 

dadurch gekennzeichnet , dass das System (1) ein zweites Spei- 
chermediiim (13) aufweist, in dem aktuelle Zustandswerte des 
realen Prozesses, insbesondere Sensorwerte und/oder zu set- 
zende Aktorwerte, abgelegt sind. 

7. System nach einem der vorhergehenden Ansprtiche, 

dadurch gekennzeichnet , dass das Simulationssystem (7) derart 
ausgeftthrt ist, dass der Ablauf einer Simulation durch die im 
zweiten Speichermedium (13) abgelegten Zustandswerte kontinu- 
ierlich beeinflusst werden kann und/oder die im zweiten Spei- 
chermedium (13) abgelegten Zustandswerte durch das Simulati- 
onssystem (7) modifiziert werden konnen. 

8. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , dass das System (1) mindestens eine 
Prozessanbindung (17) aufweist, welche die Ver^nderung des 
Zustandes eines realen Prozesses, insbesondere in Abhangig- 
keit im zweiten Speichermedium (13) abgelegter Zustandswerte, 
und die Erfassung des aktuellen Zustandes eines realen Pro- 
zesses erlaubt • 

9. System nach einem der vorhergehenden Ansprtiche, 

dadurch gekennzeichnet , dass das System (1) ein drittes Spei- 
chermedixam (16) aufweist, in dem Daten abgelegt werden, die 
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eine Rekonstruktion eines mittels des Simulationssystems (7) 
simulierten Vorganges erlauben. 

10. Verfahren zur Darstellung von Inf ormationen^ insbesondere 
Augmented- Reality Inf ormationen, fur mindestens einen An- 
wender (2) bei dem 

• mit Hilfe mindestens einer Erf assungseinheit (3) eine Urn- 
gebung erfasst and entsprechende Umgebungsinf ormationen 
(4) generiert werden, die eine Position und/oder eine Aus- 
richtung des Systems (1) in Bezug auf die Umgebung kenn- 
zeichnen, 

• mit Hilfe mindestens eines Simulationssystems (7) Simula- 
tionsdaten (12) generiert werden und 

• mit Hilfe mindestens einer Verarbeitungseinheit (8) die Um- 
gebungsinf ormationen (4) und auf Basis der Simulationsda- 
ten (12) kontinuierlich modifizierte und in einem ersten 
Speichermedium (5) abgelegte Bildinf ormationen (6) ver- 
kniipft werden. 

11. Verfahren nach Anspruch 10, 

dadurch gekennzeichnet , dass mit Hilfe der Verarbeitungsein- 
heit (8) Verdeckungen virtueller Objekte (18a, 18b) durch ei- 
ne im Erf assungsbereich des Systems (1) exist ierende reale 
Anordnung (11) auf Basis der in dem ersten Speichermedium (5) 
abgelegten Bildinf ormationen (6) berechnet werden sowie eine 
Datenmenge (9) zur Beschreibung der virtuellen Objekte (18a, 
18b) generiert wird, wobei die von der realen Anordnung (11) 
verdeckten Flachen der virtuellen Objekte (18a, 18b) ausge- 
blendet sind. 

12. Verfahren nach einem der Ansprtiche 10 oder 11, 
dadurch gekennzeichnet, dass mit Hilfe mindestens einer Wie- 
dergabeeinheit (10) die von der Verarbeitungseinheit (8) ge- 
nerierte Datenmenge (9) dargestellt wird. 
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13. Verfahren nach einem der Anspruche 10 bis 12, 
dadurch gekennzeichnet, dass mit Hilfe mindestens einer An- 
wendungssteuerung (14) das Simulationssystems (7) und/oder 
mindestens ein realer Prozess angesteuert werden. 

14. Verfahren nach einem der Anspruche 10 bis 13, 

dadurch gekennzeichnet , dass mit Hilfe mindestens einer An- 
wenderschnittstelle (15) dem Anwender eine Ansteuerung des 
Simulationssystems (7) und/oder mindestens eines realen Pro- 
zesses erlaubt wird. 

15. Verfahren nach einem der Ansprtlche 10 bis 14, 

dadurch gekennzeichnet , dass in einem zweiten Speichermedium 
(13) aktuelle Zustandswerte des realen Prozesses, insbesonde- 
re Sensorwerte und/oder zu setzende Aktorwerte, abgelegt wer- 
den. 

16. Verfahren nach einem der Anspruche 10 bis 15, 
dadurch gekennzeichnet , dass der Ablauf einer Simulation 
durch die im zweiten Speichermedium (13) abgelegten Zustands- 
werte kontinuierlich beeinflusst werden kann und/oder die im 
zweiten Speichermedium (13) abgelegten Zustandswerte durch 
das Simulationssystem (7) modifiziert werden konnen. 

17. Verfahren nach einem der Anspruche 10 bis 16, 

dadurch gekennzeichnet, dass mit Hilfe mindestens einer Pro- 
zessanbindung (17) der Zustand eines realen Prozesses verSn- 
dert wird, insbesondere in Abhangigkeit im zweiten Speicher- 
medium (13) abgelegter Zustandswerte, und/oder der aktuelle 
Zustand eines realen Prozesses erfasst wird. 

18. Verfahren nach einem der Anspruche 10 bis 17, 

dadurch gekennzeichnet, dass in einem dritten Speichermedium 
(16) Daten abgelegt werden, die eine Rekonstruktion eines 
mittels des Simulationssystems (7) simulierten Vorganges er- 
lauben . 
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Zusammenfassung 

Vorrichtung und Verfahren zur Darstellung von Simulationser- 
gebnissen in einer erweiterten Realitat 

Die Erfindung betrifft ein System und ein Verfahren innerhalb 
eines Augmented-Reality (AR) Systems zur Visualisierung von 
Simulationsergebnissen in einer gemischt virtuellen realen 
Umgebung. Das System bzw. Verfahren ermoglicht es einem oder 
mehreren Anwender(n), Simulationsprozesse im Kontext einer 
realen Umgebung, insbesondere im Bereich der industriellen 
Automatisierungstechnik, durchzuftihren und deren statische 
und dynamische Ergebnisse im Kontext der realen Umgebung zu 
visualisieren. In der realen Umgebung ablaufende Prozesse 
werden erfasst und mit der Simulation synchronisiert . Mit 
Hilfe einer Steuerungseinheit wird eine wechselseitige Beein- 
flussung realer Prozesse mit der Simulation ermOglicht. Wei- 
terhin kann der Anwender Uber eine Anwenderschnittstelle den 
Ablauf der Simulation steuern. 
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